矩阵的特征分类是基于基质分解的概率模型中的中心过程,例如主成分分析和主题模型。基于有限样本估计的这种分解的不确定性对于使用此类模型时的不确定性是必不可少的。本文解决了计算固定尺寸协方差矩阵特征向量各个条目的置信界的挑战。此外,我们得出了一种方法来绑定逆协方差矩阵的条目,即所谓的精度矩阵。我们方法背后的假设是最小的,要求存在协方差矩阵,其经验估计量会收敛到真正的协方差。我们利用U统计理论来绑定经验协方差矩阵的$ L_2 $扰动。从此结果,我们使用Weyl定理和特征值 - 元素向量身份获得了特征向量的边界,并使用矩阵扰动界限在精度矩阵的条目上得出置信区间。作为这些结果的应用,我们演示了一项新的统计测试,该测试使我们能够测试精度矩阵的非零值。我们将该测试与众所周知的Fisher-Z检验进行了比较,并证明了所提出的统计测试的健全性和可扩展性,及其在医学和物理领域的现实世界数据中的应用。
translated by 谷歌翻译
UNET [27]由于其简单性和有效性而被广泛用于语义分割。但是,其手动设计的体系结构应用于没有架构优化的大量问题设置,或者使用手动调整,这很耗时,可以是最佳的。在这项工作中,首先,我们提出了Markov随机场神经体系结构搜索(MRF-NAS),该搜索扩展并改善了最新的自适应和最佳网络宽度搜索(AOWS)方法[4] [4](i)更一般的MRF框架(II)(II)不同的M最佳循环推断(III)可区分参数学习。这提供了必要的NAS框架,以有效探索诱导Loopopy推理图的网络体系结构,包括由跳过连接引起的循环。以UNET为骨干,我们发现了一个建筑MRF-UNET,它显示了几个有趣的特征。其次,通过这些特征的镜头,我们确定了原始UNET架构的亚典型性,并通过MRF-UNETV2进一步改善了我们的结果。实验表明,我们的MRF-UNET在三个航空图像数据集和两个医疗图像数据集上的表现明显优于几个基准,同时保持低计算成本。该代码可在以下网址获得:https://github.com/zifuwanggg/mrf-unets。
translated by 谷歌翻译
工程设计传统上是手工执行的:专家根据过去的经验做出设计建议,然后对这些建议进行测试以符合某些目标规格。使用所谓的纪律模型首先通过计算机模拟进行合规性测试。这样的模型可以通过有限元分析,多机系统方法等实现。然后,考虑通过该模拟的设计进行物理原型。总体过程可能需要几个月的时间,并且在实践中是一笔巨大的成本。我们已经开发了一个贝叶斯优化系统,用于通过直接优化针对设计参数的目标规范来部分自动化此过程。所提出的方法是计算不需要的高维非线性函数的广义倒数的一般框架,例如梯度信息,这通常是从纪律模型中获得的。我们此外,基于(i)收敛到最佳满足所有指定设计标准的解决方案,或(ii)收敛到最小值解决方案,我们开发了两层收敛标准。我们证明了使用最先进的商业纪律模型的行业设置动机的车辆底盘设计问题所提出的方法。我们表明,所提出的方法是一般,可扩展和高效的,并且可以根据流行的贝叶斯优化软件包中的现有概念和子例程直接实现新颖的收敛标准。
translated by 谷歌翻译
机器学习驱动的医学图像分割已成为医学图像分析的标准。然而,深度学习模型易于过度自信预测。这导致了重新关注医学成像和更广泛的机器学习社区中的校准预测。校准预测是标签概率的估计,其对应于置信度的标签的真正预期值。这种校准的预测在一系列医学成像应用中具有效用,包括在不确定性和主动学习系统下的手术规划。同时,它通常是对许多医疗应用的实际重视的准确体积测量。这项工作调查了模型校准和体积估计之间的关系。我们在数学上和经验上展示,如果每个图像校准预测器,我们可以通过期望每像素/图像的体素的概率得分来获得正确的体积。此外,我们表明校准分类器的凸组合保持体积估计,但不保留校准。因此,我们得出结论,具有校准的预测因子是足够但不是必需的来获得体积的无偏估计。我们验证了我们对18种不同(校准的)培训策略的主题验证了我们关于Brats 2018的胶质瘤体积估计的任务的集合,以及Isles 2018数据集的缺血性卒中病变估计。
translated by 谷歌翻译
近年来,我们在自动驾驶汽车的发展中看到了显着的步骤。多家公司开始推出令人印象深刻的系统,这些系统在各种环境中工作。这些系统有时可以给人一种印象,即完全自动驾驶即将到来,我们很快就会在没有方向盘的情况下建造汽车。给予AI的自主权和控制水平的增加为人道交互的新模式提供了机会。然而,调查表明,在自动驾驶汽车中对AI提供更多控制伴随着乘客的一定程度的不安。在尝试缓解这个问题时,最近的作品通过允许乘客提供指导到视觉场景中的特定对象的命令来采取自然语言的方法。尽管如此,这只是汽车的一半,因为汽车也应该了解该命令的物理目的地,这就是我们在本文中的专注。我们提出了一个扩展,其中我们向3D目的地注释了在执行给定的命令之后需要达到的3D目的地,并在预测该目的地位置进行多个不同的基线进行评估。此外,我们介绍一个胜过适用于这种特定设置的先前作品的模型。
translated by 谷歌翻译
为了保护敏感的培训数据,深入学习中采用了差异私有的随机梯度下降(DP-SGD),以提供严格定义的隐私。然而,DP-SGD需要注入与梯度尺寸的数量缩放的噪声量,导致与非私人训练相比具有大的性能下降。在这项工作中,我们提出随机冻结,随机冻结,随机冻结参数的逐步增加并导致稀疏梯度更新,同时保持或提高精度。理论上,从理论上证明随机冻结的融合,并发现随机冻结在DP-SGD中表现出信号损失和扰动促进折磨。在各种DP-SGD框架上应用随机冻结,我们维持在相同数量的迭代中的准确性,同时实现高达70%的表示稀疏性,这表明在各种DP-SGD方法中存在权衡。我们进一步注意,随机冻结显着提高了准确性,特别是对于大型网络。另外,随机冻结引起的轴对齐的稀疏性导致预计DP-SGD或联合学习的各种优点,在计算成本,存储器占用和通信开销方面。
translated by 谷歌翻译
独立训练的神经网络的集合是一种最新的方法,可以在深度学习中估算预测性不确定性,并且可以通过三角洲函数的混合物解释为后验分布的近似值。合奏的培训依赖于损失景观的非跨性别性和其单个成员的随机初始化,从而使后近似不受控制。本文提出了一种解决此限制的新颖和原则性的方法,最大程度地减少了函数空间中真实后验和内核密度估计器(KDE)之间的$ f $ divergence。我们从组合的角度分析了这一目标,并表明它在任何$ f $的混合组件方面都是supporular。随后,我们考虑了贪婪合奏结构的问题。从负$ f $ didivergence上的边际增益来量化后近似的改善,通过将新组件添加到KDE中得出,我们得出了集合方法的新型多样性项。我们的方法的性能在计算机视觉的分布外检测基准测试中得到了证明,该基准在多个数据集中训练的一系列架构中。我们方法的源代码可在https://github.com/oulu-imeds/greedy_ensembles_training上公开获得。
translated by 谷歌翻译
在医疗应用中,建立深度学习方法以自动化诊断任务。然而,从业者通常面临的临床相关问题是如何预测疾病的未来轨迹(预后)。此类问题的当前方法通常需要域知识,并申请复杂。在本文中,我们将预后预测问题标准为来自多式联数据的一对多预测问题。灵感来自临床决策过程,其中两个代理商 - 放射科医生和一般从业者,我们模拟了一种与两个基于变压器的组件进行预后预测问题,该组件在彼此之间共享信息。该模型中的第一个块旨在分析成像数据,第二块利用第一个作为输入的内部表示,也使它们与辅助患者数据一起融合。我们展示了我们预测结构膝关节骨关节炎的发展的方法的有效性随着时间的推移。我们的研究结果表明,该方法在各种绩效指标方面优于最先进的基线。此外,我们经验证明,具有深度为2的多蛋白变压器的存在足以实现良好的性能。我们的代码公开可用于\ url {https:/github.com/mipt-ouru/climat}。
translated by 谷歌翻译
Extracting complex structures from grid-based data is a common key step in automated medical image analysis. The conventional solution to recovering tree-structured geometries typically involves computing the minimal cost path through intermediate representations derived from segmentation masks. However, this methodology has significant limitations in the context of projective imaging of tree-structured 3D anatomical data such as coronary arteries, since there are often overlapping branches in the 2D projection. In this work, we propose a novel approach to predicting tree connectivity structure which reformulates the task as an optimization problem over individual steps of a recursive process. We design and train a two-stage model which leverages the UNet and Transformer architectures and introduces an image-based prompting technique. Our proposed method achieves compelling results on a pair of synthetic datasets, and outperforms a shortest-path baseline.
translated by 谷歌翻译
There are multiple scales of abstraction from which we can describe the same image, depending on whether we are focusing on fine-grained details or a more global attribute of the image. In brain mapping, learning to automatically parse images to build representations of both small-scale features (e.g., the presence of cells or blood vessels) and global properties of an image (e.g., which brain region the image comes from) is a crucial and open challenge. However, most existing datasets and benchmarks for neuroanatomy consider only a single downstream task at a time. To bridge this gap, we introduce a new dataset, annotations, and multiple downstream tasks that provide diverse ways to readout information about brain structure and architecture from the same image. Our multi-task neuroimaging benchmark (MTNeuro) is built on volumetric, micrometer-resolution X-ray microtomography images spanning a large thalamocortical section of mouse brain, encompassing multiple cortical and subcortical regions. We generated a number of different prediction challenges and evaluated several supervised and self-supervised models for brain-region prediction and pixel-level semantic segmentation of microstructures. Our experiments not only highlight the rich heterogeneity of this dataset, but also provide insights into how self-supervised approaches can be used to learn representations that capture multiple attributes of a single image and perform well on a variety of downstream tasks. Datasets, code, and pre-trained baseline models are provided at: https://mtneuro.github.io/ .
translated by 谷歌翻译